Theo gia phả của Tổ quán họ Lê Văn ở làng Bồ Đề (Mộ Đức, Quảng Ngãi) thì Lê Văn Phong có hai người vợ chính và nhiều bà vợ lẽ. Số con ông ghi trong gia phả là 27 nam, 4 nữ...Năm Quý Hợi (1803), vua Gia Long cho người con đầu của ông là Lê Văn Yến được làm "con thừa tự" của Lê Văn Duyệt, vì anh ông là người bị hoạn bẩm sinh [10]. Sau, Lê Văn Yến được vua Gia Long gả con gái thứ mười là công chúa Ngọc Ngôn (có sách ghi là Ngọc Nghiên hay Ngọc Nghiêm), và trở thành Phò mã đô úy [11].

Tháng 7 (âm lịch) năm Ất Mùi (1835), cuộc nổi dậy của Lê Văn Khôi (con nuôi Lê Văn Duyệt) bị đánh dẹp. Sau đó, phần lớn con cháu họ tộc Lê Văn đều bị đày đi làm lao dịch, chỉ riêng Phò mã Lê Văn Yến và Lê Văn Tề (đều là con ruột Lê Văn Phong) bị án trảm. Mãi đến năm Tự Đức nguyên niên (1848), sau khi nghe lời tâu của Đại học sĩ Võ Xuân Cẩn, nhà vua mới ban cho Lê Văn Diễn (con của Phò mã Lê Văn Yến) chức cai đội [12].

Tuy nhiên, đang khi xảy ra họa lớn, một trong số người con của Lê Văn Phong là Lê Văn Dược đã trốn thoát lên vùng rừng hoang phía bắc Gia Định, mai danh ẩn tích và đổi sang họ Nguyễn. Tại đậy, ông cùng các con khai khẩn đất hoang, lập làng, và trở thành "tiền hiền" của vùng đất Thái Mỹ thuộc huyện Củ Chi ngày nay[13].